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Voorwoord 


Sinds de oprichting van de Wetenschappelijke Commissie Wijkaanpak 
hebben we ruim vijftig studies beoordeeld en voorzien van aanbevelingen 
voor onderzoekers en beleidsmakers om de validiteit en de bruikbaarheid 
van het onderzoek te verhogen. Deze aanbevelingen vormen de basis voor 
de tips in deze publicatie. Daarnaast is gebruik gemaakt van de Wijkengids 
en de publicatie Weten wat werkt. Deze laatste publicatie is - net als 
voorliggende publicatie - verschenen op verzoek van deze Commissie. 

Door het uitbrengen van deze publicatie komen de lessen uit de 
onderzoeken naar de wijkaanpak breed beschikbaar, zodat deze bij 
toekomstig onderzoek kunnen worden ingezet. Bijvoorbeeld bij de 
monitoring van het sociale domein. 

De uitgangspunten van de wijkaanpak vertonen grote overeenkomsten met 
de basisprincipes waarop de decentralisaties in het sociaal domein en het 
werken in sociale wijkteams zijn geënt. Daardoor zijn er ook grote 
overeenkomsten in het onderzoek. De uitdagingen die onderzoek naar de 
wijkaanpak met zich meebrengt, spelen ook bij onderzoek naar de sinds 
i januari 2015 gedecentraliseerde taken in het sociaal domein. De 
aanbevelingen zijn daarmee ook van toepassing op het sociaal domein. 


Prof. dr. Pieter Hooimeijer, voorzitter 
namens de 

Wetenschappelijke Commissie Wijkaanpak 
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Wetenschappelijke Commissie Wijkaanpak 


De Wetenschappelijke Commissie Wijkaanpak is in 2009 ingesteld door de 
Minister voor Wonen, Wijken en Integratie met als opdracht te adviseren 
over de kwaliteit en bruikbaarheid van het onderzoek voor de 
onderbouwing, evaluatie en bijstelling van het beleid met betrekking tot de 
wijkaanpak. De Commissie brengt jaarlijks in het najaar een advies uit dat 
betrekking heeft op de in het jaar daarvoor verschenen studies. Voorbeelden 
van goede studies worden breed bekend gemaakt, zodat anderen daar bij 
het opzetten van eigen onderzoeken hun voordeel mee kunnen doen. 
Bovendien ontvangen partijen die onderzoek aanleveren een 
terugkoppeling van de Commissie met het oordeel over het onderzoek en 
mogelijke verbeterpunten. 

Het onderliggende doel van de activiteiten van de Wetenschappelijke 
Commissie Wijkaanpak is dat uitwisseling van kennis over bruikbare 
evaluatiemethodes wordt gestimuleerd tussen alle partners in de 
wijkaanpak. De uitvoering van het onderzoek en de kwaliteit van 
beleidsinformatie worden zo verbeterd. 

De Commissie Wijkenaanpak bestaat uit de volgende leden: 

Prof. dr. Hans Boutellier 

Prof. dr. Pieter Hooimeijer, voorzitter 

Prof. dr. Sjoerd Karsten 

Prof. dr. Joop Schippers 

Prof. dr. Karien Stronks 

Prof. dr. Justus Veenman 
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In deze publicatie staan tips en handvatten over het volgen van ontwikkelingen 
(in wijken) en het meten van de effecten van maatregelen. 


Meten is niet alleen een zaak van onderzoekers. Een goed samenspel tussen 
onderzoekers en beleidsmakers is van groot belang om te zorgen dat de 
onderzoekers de juiste dingen in beeld brengen en de uitkomsten bruikbaar zijn 
voor beleid. 


/ 


Tips die (vooral) beleidsmakers en opdrachtgevers aangaan. 


Tips die (vooral) bestemd zijn voor onderzoekers. 
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Inleiding: 

samenwerking onderzoek en beleid 


Onderzoek maakt onderdeel uit van elke fase van het beleidsproces. Het 
begint met het in kaart brengen van de situatie. Vervolgens wordt 
vastgesteld of het nodig is om vanuit de overheid, maatschappelijke 
organisaties of beide in te grijpen. Om die keuze te maken, is het 
noodzakelijk om (met betrokken partners) een probleemanalyse te maken 
(zie ook tip 1). Vervolgens wordt bepaald wat de doelstellingen zijn, welke 
maatregelen worden genomen en wie wat gaat doen. Daarna is het van 
belang te volgen hoe de situatie zich ontwikkelt en wat de effecten van de 
inzet zijn. Op basis van dergelijke gegevens is het mogelijk om te bepalen of 
er verbetering optreedt of dat de resultaten achterblijven bij de 
verwachtingen. In dat laatste geval kan besloten worden om de aanpak bij 
te stellen. Bijvoorbeeld: of de samenstelling van het wijkteam nog voldoet, 
of dat deze moet worden aangepast aan de veranderde situatie. Een stap 
verder gaat de analyse waarom er juist wel of geen veranderingen worden 
waargenomen. 

In al deze fasen van het beleidsproces is samenwerking tussen 
beleidsmakers en onderzoekers noodzakelijk. 
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Tip n: 

Werkde beleidsdoelen samen 
met onderzoekers uit 



Het formuleren van beleid begint met een analyse van de problemen en de 
context. Het beantwoorden van de volgende vragen is daarbij aan te 
bevelen: 

• Wat is het probleem? 

Dus: Wat is de gewenste situatie en wat is de huidige, feitelijke situatie? 

• Zijn er achterliggende problemen en zo ja, welke? 

• Welke contextfactoren zijn van invloed op het probleem? 

Onderzoekers kunnen bijdragen aan de probleem- en contextanalyse. Zij 
kunnen - indien nodig - de omvang van het probleem in cijfers weergeven. 

Bij het nadenken over het probleem en welke beleidsinzet het meest 
kansrijk is, moet rekening worden gehouden met de context: 

• Hoe ziet de bevolkingsopbouw van de wijk eruit? 

• Hoe ziet de woningvoorraad en de fysieke leefomgeving van de wijk eruit? 

• Hoe is de doelgroep samengesteld? 

• Welke actoren zijn betrokken? 

• Welke politieke en beleidsmatige (on)mogelijkheden zijn er? 

• Met welke overige specifieke omstandigheden moet rekening worden 
gehouden? 

De ene wijk is immers de andere niet. De context dient daarom nadrukkelijk 
te worden betrokken bij de probleemanalyse. Op die manier is het mogelijk 
de interventies te kiezen die het best passen bij het probleem en de situatie 
(in de wijk). 

Gedeelde probleemanalyse 

Bij een complex beleidsterrein - zoals het sociale domein - of complexe 
problematiek - denk aan de wijkaanpak - is er veelal sprake van een 
samenspel van verschillende partijen, waaronder bewoners, ondernemers, 
woningcorporaties, welzijnsinstellingen, onderwijsinstellingen en de 
overheid. Voordat de ambities of beleidsdoelen kunnen worden bepaald, is 
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het zaak om te komen tot een gedeelde probleemanalyse: een gezamenlijk 
beeld van het probleem. Om de achterliggende problemen (ook) in beeld te 
krijgen, is het zinvol tijdens dit proces om vragen te stellen als: 

• Waarom is het erg dat...? 

• Wat gebeurt er als er niet wordt ingegrepen? 

Op basis van de gedeelde probleemanalyse kunnen gedeelde 
doelstelling(en) worden bepaald, samen met de betrokken partners. 
Vervolgens kan - uit verschillende mogelijke maatregelen - de beste 
interventie of combinatie van interventies worden gekozen. 

Indien een aanpak bestaat 
uit een combinatie van 
interventies is het aan te 
raden om na te gaan of de 
interventies elkaar 
versterken of dat ze elkaar 
juist afzwakken. 

Als er verschillende 
partners betrokken zijn, 
kunnen uiteenlopende 
belangen een rol spelen. 

Als die belangen expliciet 
zijn gemaakt, kan er bij het 
formuleren van een aanpak 
zo goed mogelijk rekening 
worden gehouden met alle 
partners. 

Onderzoekers hebben 
inzicht in de 
beschikbaarheid van 
gegevens. Zij kunnen 
daardoor aangeven welke 
doelen meetbaar zijn en 
welke niet, of alleen tegen 
hoge kosten. Door de 


Stedelijk gemiddelde als doel 


Een beleidsdoel waarbij ernaar wordt 
gestreefd dat bepaalde groepen uitkomen 
op het stedelijk gemiddelde, betekent in de 
praktijk bijna altijd dat andere groepen 
onder het stedelijk gemiddelde zullen 
komen. Is dat inderdaad wenselijk? 

Bovendien is het stedelijk gemiddelde aan 
verandering onderhevig. Is het doel dan 
het stedelijk gemiddelde aan het begin van 
de beleidsperiode, of aan het eind? 
Werkloosheidscijfers worden beïnvloed 
door de economische conjunctuur. Het 
stedelijk gemiddelde aan het begin van de 
beleidsperiode kan daarom veel hoger of 
juist lager zijn dan aan het eind van de 
beleidsperiode. Het is daarom logischer om 
het stedelijk gemiddelde aan het eind van 
de beleidsperiode als doel te nemen. Dat 
betekent echter wel dat het beleid ‘schiet 
op een bewegend doel’; het is vooraf niet 
duidelijk hoe groot de afstand is die 
uiteindelijk moet worden overbrugd. 
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beleidsdoelen samen met onderzoekers uit te werken, wordt voorkomen 
dat er doelen worden geformuleerd waarvan het niet mogelijk is om de 
voortgang te volgen. Uiteraard is de meetbaarheid niet bepalend voor de 
keuze van de beleidsdoelen. Tegelijkertijd is het goed om vooraf te beseffen 
of het mogelijk is om de voortgang van het beleid te volgen (zie tip 7). 
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Tip 2: 

Maak de beleidstheorie expliciet 


De beleidstheorie is het geheel van veronderstellingen dat aan de basis ligt 
van het beleid: de veronderstellingen over het probleem, het te kiezen 
beleid en de te verwachten effecten daarvan. Het gaat dus om de (verwachte) 
relatie tussen de beleidsinzet of interventies en de (maatschappelijke) 
effecten. 

Door de veronderstellingen expliciet te maken, kan het gesprek erover 
worden aangegaan. Op die manier kan worden nagegaan of de 
beleidstheorie consistent is en empirisch is gefundeerd. Hierbij kan gebruik 
worden gemaakt van bestaande literatuur over (effectieve) interventies en 
kennisbanken (zie tip 4). Bovendien kan worden besproken of de 
elementen in de beleidstheorie inderdaad kunnen worden beïnvloed door 
de betrokken actoren. Zo kunnen de meest kansrijke interventies worden 
gekozen. 

Om de beoogde effecten van afzonderlijke interventies inzichtelijk te 
maken, kan bijvoorbeeld gebruik worden gemaakt van de EffectenArena. 

Dit dialooginstrument helpt bij het bespreken van de veronderstellingen. 


maatschappelijke effect is en wat de prestatie(s) om dat 

effect te bereiken. 

Het gewenste maatschappelijke effect van beleid is de outcome, zoals het 
verbeteren van de leefbaarheid. 

De prestaties zijn de output: de activiteiten die worden uitgevoerd, zoals het aantal 
huisbezoeken dat wordt afgelegd of het aantal cursussen dat wordt gegeven. 

Als de maatschappelijke effecten (outcome) niet zijn bereikt, is het goed om te 
weten of/in hoeverre de voorziene prestaties (output) zijn uitgevoerd. 

Het kan daarom nodig zijn om zowel outcome als output te meten. 



Bedenk wat het gewenste 
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Tip 3: 

Formuleer de doelstellingen van 
beleid helder 



Een concrete formulering van de doelstellingen van beleid is een 
noodzakelijke voorwaarde voor het kunnen volgen van de voortgang en het 
meten van de effectiviteit daarvan. Aandachtspunt daarbij is dat 
doelstellingen elkaar kunnen overlappen, zoals de rokken van een ui dat 
doen. Het streven naar gemengde wijken (qua inkomen) is een direct doel. 
Het indirecte doel is het verhogen van de leefbaarheid in die wijken (zie ook 
tip 7). Hetzelfde geldt voor effecten, waarbij indirecte effecten de buitenste 
ring vormen. Onderstaand figuur uit de publicatie Weten wat werkt brengt 
dat in beeld voor de effecten. 



De verouderde flats zijn I De diversiteit van I De leefbaarheid en het 

gesloopt I inkomens neemt toe I imago van de wijk verbetert 


Figuur i 

Het trechtermodel (uit: ISW (zon) Weten wat werkt - Evaluatie als basis voor 
succesvolle wijkaanpak) 


10 


Aanbevelingen voor beleidsonderzoek 









Communicatie 


Vóórdat maatschappelijke effecten (outcome) kunnen worden gesorteerd, moeten 
eerst de prestaties (output) zijn geleverd. Het kan dus enige tijd duren voor de 
gevolgen van het beleid (de outcome) in de monitorgegevens zichtbaar worden. 

Het is van belang de communicatie hierop aan te passen. 

• In het beginstadium kan over het proces worden gecommuniceerd: welke 
afspraken zijn gemaakt, wie doet wat, etc. 

• Daarna kan over de prestaties (output) worden bericht: hoeveel initiatieven zijn 
ontplooid, hoeveel keukentafelgesprekken zijn er gevoerd, etc. 

• Tenslotte kan over de maatschappelijke effecten worden gecommuniceerd: is het 
aandeel schoolverlaters gedaald, is de participatie toegenomen, etc. 

Wel is het nodig om de outcome al vanaf het begin te meten. Enerzijds om een 
goede nulmeting te krijgen. Anderzijds kan een effect na enige tijd weer wegzakken. 
Door te blijven meten, kan worden voorkomen dat het effect wordt ‘gemist' in de 
metingen. 


Een ander aandachtspunt is dat doelstellingen kunnen verschillen per 
partner. Als de doelstellingen van elke partner worden gemonitord, 
beschikken alle partners over de benodigde voortgangsinformatie. 

De informatiebehoefte kan verschillen tussen partners, maar ook 
tussen bijvoorbeeld bestuurders en uitvoerders. Om te weten of 
bijsturen nodig is, moet de sturingsinformatie voor de verschillende 
betrokkenen 
beschikbaar zijn. 

Als de beleidstheorie 
en de doelstellingen 
van het beleid 
duidelijk zijn, kan 
goed worden bepaald 
wat er moet worden 
gemeten: welke 
output- en 
outcome- 
indica toren. 


De opzet is heel ‘strak’: uit de 
wijkplannen worden doelstellingen 
gedestilleerd, vervolgens worden 26 
indicatoren gekozen, wordt periodiek de 
voortgang gemeten en worden de vijf 
wijken vergeleken met het stedelijk 
gemiddelde. De uitkomsten worden zeer 
overzichtelijk gepresenteerd. 


Aanbevelingen voor beleidsonderzoek 


n 




Tip 4= 

Kennisbanken met (effectieve) 
interventies 



De afgelopen tien jaar zijn er diverse kennisbanken ontstaan waarin 
waardevolle kennis is ondergebracht over effectieve interventies. Elk van 
deze kennisbanken heeft een eigen ontstaansgeschiedenis en inhoudelijke 
focus. Ze bevatten allemaal interessante wijkinterventies of methodieken 
die toepasbaar zijn in de wijk en die in meer of mindere mate bewezen 
effectief te zijn. Hieronder staat per kennisbank een beschrijving en een link 
naar voor de wijk relevante delen van de database. 

Wat Werkt in de Wijk 

De kennisbank Wat Werkt in de Wijk is volledig gericht op wijkinterventies. 
In de kennisbank is het mogelijk om op diverse manieren te zoeken door 
honderden wijkinterventies. Er zijn twee soorten interventiebeschrijvingen 
in de kennisbank opgenomen: praktijkbeschrijvingen en 
archetypebeschrij vingen. Een praktijkbeschrijving is een lokaal uitgevoerd 
project, veelal beschreven door de betrokken wijkprofessional zelf. De 
archetypebeschrijving is een gedegen beschrijving van een bepaald type 
project dat op veel plaatsen in het land wordt uitgevoerd, zoals klushuizen, 
skaeve huse of schuldhulpverlening. In de beschrijving van een archetype zijn 
de werkzame bestanddelen van de interventies beschreven en verder 
geanalyseerd. De archetypebeschrijvingen zijn ontwikkeld door 
effectiviteitsexperts. 

Effectieve Jeugdinterventies 

Een databank waarmee hard aan de weg wordt getimmerd is Effectieve 
leugdinterventies van het Nederlands Jeugdinstituut. Daarin bevinden zich 
ruim 200 programma’s voor hulp bij problemen met opgroeien en 
opvoeden. 

Aanpak gezondheidsachterstanden 

Het RIVM Centrum Gezond Leven heeft een database ontwikkeld waarin 
inmiddels meer dan 2000 leefstijlinterventies zijn opgenomen. Hierbinnen 
is een handzaam overzicht gemaakt van de door het RIVM aanbevolen 
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interventies met betrekking tot gezondheid, gesorteerd op mate van 
bewezen effectiviteit. 

Sociale interventies 

Movisie heeft een databank opgebouwd met voorbeelden van 
praktijkinterventies die worden ingezet in het brede sociale domein. In de 
databank zijn diverse thema's opgenomen, zoals buurtontwikkeling, 
eenzaamheid en ouderenparticipatie. 

Als afsluiting is een ontnuchterende opmerking op zijn plaats. Slechts van 
een beperkt aantal interventies in de bovenstaande kennisbanken is ook 
daadwerkelijk wetenschappelijk bewezen dat dit effectief is. 
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Gebruik bestaande kennis en literatuur 


Onderzoek wint aan kracht als gebruik is gemaakt van inzichten uit de 
literatuur. Put daarom uit literatuur voor operationalisatie van (abstracte) 
concepten, kennis over oorzaak-gevolgrelaties en verstorende (achtergrond) 
variabelen. Als deze vooraf bekend zijn, is het mogelijk ze in beeld te 
brengen en waar nodig ervoor te corrigeren. Ook kan bestaande kennis 
leiden tot het relativeren van bepaalde conclusies. 


Er wordt een duidelijke verbinding gelegd met de literatuur en andere (nationale) 
monitors ten aanzien van leefbaarheid en veiligheid. De thema’s worden helder 
geïntroduceerd en de samenhang ertussen wordt uitgelegd. 

De monitor munt uit door de heldere presentatie per thema en vervolgens per wijk 
en geeft aan het eind een duidelijk totaaloverzicht waarin de patronen per thema 
gecombineerd met wijk duidelijk te herkennen en te interpreteren zijn. De lezer 
wordt doeltreffend ondersteund in het ‘begrijpen’ van een grote hoeveelheid 
cijfers. 
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Tip 6: 

Bepaal de onderzoeksopzet 

De onderzoeksopzet hangt samen met de conclusies die getrokken 
(moeten) kunnen worden. Onderzoekers en beleidsmakers moeten hier 
daarom samen over beslissen. Het gaat dan om keuzes als het doel van het 
onderzoek (bijvoorbeeld beschrijvend of evaluatief), de onderzoeksvragen, 
de te analyseren data (bijvoorbeeld kwalitatief of kwantitatief) en soms ook 
de gebruikte theorie. 

De Wetenschappelijke Commissie Wijkaanpak maakt onderscheid tussen: 

I Verantwoordingstudies waarin vooral de rechtmatigheid van 
uitgevoerde maatregelen centraal staat 

II Monitors: beschrijvende studies waarin doelbereik van output- en 
outcomedoelstellingen van beleid centraal staan, maar die geen inzicht 
in causaliteit en effectiviteit van beogen 

III Causaliteits- c.q. effectiviteittoetsing: studies met een meer verklarend 
karakter waarin naast de beschrijving van de beleidseffecten wordt 
nagegaan waaraan deze effecten zijn toe te schrijven 

IV Ontwikkelingsonderzoeken: studies van innoverend karakter, die 
nieuwe aanpakken en/of instrumenten verkennen 

De afgelopen jaren zijn vooral monitors en in mindere mate 
effectiviteitsstudies aan de Wetenschappelijke Commissie Wijkaanpak 
voorgelegd. 
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Tabel i 

Aantallen beoordeelde studies naar type 


Type studie 

Aantal beoordeeld door de 
Wetenschappelijke Commissie 
Wijkaanpak 

i Verantwoordingstudies 

8 

ii Monitors 

27 

iii Causaliteits- c.q. effectiviteittoetsing 

13 

iv Ontwikkelingsonderzoeken 

6 


Een causaliteitsstudie of effectiviteitsmeting vraagt een andere opzet en 
stelt hogere eisen aan het onderzoek dan een monitor. Zo is voor een 
effectmeting een (quasi-) experimentele opzet vereist, met een goede 
controlegroep. Een voorbeeld van een onderzoek waarin wordt gewerkt met 
een quasi-experimenteel onderzoeksdesign is Wonen, wijken en interventies van 
het SCP. 

Er moet dus vooraf een keuze worden gemaakt over de doelstelling en de 
probleemstelling van het onderzoek. De probleemstelling bevat de 
onderzoeksvraag of onderzoeksvragen en beschrijft de relevantie ervan. 
Neem de doelstelling en de probleemstelling van het onderzoek op in de 
rapportage. 


Geen bewijs voor effect of bewijs voor geen effect? 


Als uit een effectstudie blijkt dat het effect niet kan worden aangetoond, betekent 
dat niet dat er geen effect is. Dat een effect niet kan worden aangetoond, kan 
immers samenhangen met beperkingen in de data of het ontbreken van een echt 
goede controlegroep. “Geen bewijs voor effect” lijkt misschien (tekstueel) op 
“Bewijs voor geen effect” maar is inhoudelijk een groot verschil. 
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Een monitor is een signaleringsinstrument: Het geeft een beeld van hoe de situatie 
zich ontwikkelt. Met een monitor kan doelbereik worden gemeten. Vragen die met 
een monitor beantwoord kunnen worden, zijn: 

• Naderen de uitkomst de streefwaarden? 

• Worden de achterstanden ingelopen? 

Een monitor geeft echter geen beeld van de doeltreffendheid. Het geeft geen 
antwoord op de vraag in hoeverre de gesignaleerde ontwikkelingen zijn toe te 
schrijven aan het gevoerde beleid. Daar is een effectstudie voor nodig. Een monitor 
biedt evenmin inzicht of hetzelfde resultaat met minder geld had kunnen worden 
bereikt (doelmatigheid). 

Om effecten te meten is een causaal model nodig dat een direct verband legt 
tussen de interventie en de verwachte uitkomsten. Daarnaast is een 
onderzoeksopzet vereist waarmee dat verband ook daadwerkelijk wordt gemeten. 
Het slechts volgen van uitkomsten in de tijd in het licht van de vooraf 
gespecificeerde doelstellingen voldoet daar niet aan. 

Monitor: 

signalering 

Hoe ontwikkelen de wijken zich? 
doelbereik 

Worden de achterstanden kleiner? 
doeltreffendheid 

In hoeverre zijn de gesignaleerde ontwikkelingen toe te schrijven aan het 
gevoerde beleid? 
doelmatigheid 

Had hetzelfde resultaat met minder geld kunnen worden bereikt? 


Effectstudie: 
signalering 

Hoe ontwikkelen de wijken zich? 
doelbereik 

W orden de achterstanden kleiner? 
doeltreffendheid 

In hoeverre zijn de gesignaleerde ontwikkelingen toe te schrijven aan het 
gevoerde beleid? 
doelmatigheid 

Had hetzelfde resultaat met minder geld kunnen worden bereikt? 


: 
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Tip 7= 

Verantwoord de onderzoeksopzet 



Voor het interpreteren van de uitkomsten van onderzoek is de 
verantwoording van groot belang. Een goede verantwoording geeft 
informatie over de indicatoren die zijn gebruikt en de bronnen voor die 
indicatoren. Als gebruik wordt gemaakt van enquêtes, geeft de 
verantwoording ook inzicht in de respons, de betrouwbaarheidsmarges en 
selectiviteit. Deze informatie is onmisbaar voor het interpreteren van de 
gesignaleerde ontwikkelingen. 


Tellen en vertellen 


Lang niet alles is makkelijk meetbaar. Daarom geeft een combinatie van tellen 
(objectief, ‘harde cijfers’ meten) en vertellen (subjectief, de beleving en ervaringen 
van de mensen zelf) de beste informatie. Dit draagt bij aan de interpretatie van de 
(effect)meting. 



Indicatoren 

Een indicator komt zelden precies overeen met wat moet worden gemeten. 
Het is een indicatie v an de (beoogde) situatie of ontwikkeling. Mede daarom 
kunnen veelal verschillende indicatoren worden gekozen per beleidsdoel. 
Zo zijn er verschillende indicatoren en bronnen mogelijk voor participatie, 
denk aan netto arbeidsparticipatie of deelname aan culturele activiteiten. 
Het begrip leefbaarheid kan worden geoperationaliseerd als tevredenheid 
met de woonomgeving, of (weinig) overlast, of een combinatie van deze en 
andere indicatoren. Het is afhankelijk van de doelstellingen welke indicator 
het beste aansluit bij het beoogde resultaat (zie tip 3). In bovenstaand 
voorbeeld van participatie is het verschil duidelijk en zal de keuze 
waarschijnlijk voor de hand liggen. Bij andere doelstellingen zal de keuze 
minder makkelijk zijn. Dat geldt bijvoorbeeld voor ondernemersklimaat. 
Dit kan worden gemeten via de groei van het aantal arbeidsplaatsen, maar 
ook via (enquêtes over) de tevredenheid van ondernemers over het 
ondernemersklimaat. 
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Indien er bij een indicator wordt gewerkt met een schaal (zoals goed, 
voldoende of matig) maakt een toelichting op de gehanteerde indeling 
onderdeel uit van de verantwoording. 

Zowel bij de keuze van de indicatoren als bij de schaal is het raadzaam om 
aan te sluiten bij indicatoren en schalen die al worden toegepast binnen de 
gemeente of bij eerdere, soortgelijke onderzoeken. 

Ook de (mogelijke) beperkingen van een indicator worden benoemd in de 
verantwoording van de indicatoren. Bij enquêtemateriaal kan sprake zijn 
van selectieve respons. Ook gegevens uit registraties kunnen selectief zijn. 
Denk aan fietsendiefstal, waarvan niet altijd aangifte wordt gedaan. Zowel 
bij enquêtemateriaal als bij registratiegegevens moet de onderzoeker 
daarom proberen vast te stellen of er sprake is van selectiviteit. 
Registratiegegevens kunnen na-ijlen: in sommige gevallen zijn deze 
gegevens relatief lang na de peildatum beschikbaar, waardoor een recent 
beeld van de situatie ontbreekt. Dit is bijvoorbeeld het geval bij 
inkomensgegevens. 


Criteria voor indicatoren 


Met name als meerdere indicatoren worden gebruikt om een concept te meten, is 
het aan te raden om de indicatoren te toetsen aan twee criteria: 

• Sluiten de indicatoren elkaar uit of vullen de criteria elkaar aan? 

• Dekken de indicatoren (samen) het hele concept? 


Enquêtes 

Met name bij enquêtemateriaal kan het zijn dat er over een (selectief) deel 
van de mensen informatie wordt verzameld. Om te beginnen is het daarom 
noodzakelijk om aan te geven hoe de steekproef is getrokken en 
gestratificeerd. Ook is inzicht nodig in welk percentage van de mensen heeft 
meegedaan aan het onderzoek. Als slechts een klein deel van de populatie 
haar mening heeft gegeven, zijn de resultaten van beperkte waarde. 

Indien de resultaten per doelgroep of wijk worden gepresenteerd, hoort de 
respons ook per doelgroep of wijk te zijn weergegeven. 

Het aandeel mensen dat meewerkt aan de enquête (en de omvang van de 
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populatie zelf) bepaalt ook de betrouwbaarheidsmarges. 

Indien met een enquêteonderzoek ontwikkelingen in de tijd worden 
gevolgd, heeft een verandering pas betekenis als de 
betrouwbaarheidsmarges van verschillende meetmomenten met 
overlappen. Hetzelfde geldt voor verschillen tussen groepen of tussen 
gebieden: als de betrouwbaarheidsmarges overlappen, zijn de verschillen 
niet significant. 

Om de resultaten goed te kunnen interpreteren, is het bovendien van 
belang te weten welke groepen hebben meegewerkt aan de enquête en 
welke niet of in mindere mate. Bijvoorbeeld: als alleen ouderen of juist 
alleen jongeren de enquête hebben ingevuld, is de kans groot dat de 
antwoorden niet representatief zijn voor alle bewoners. 
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Tip 8 





Leg een verbinding tussen de 
beschreven ontwikkeling en de doelen 
van beleid 


Als de doelstellingen zijn geformuleerd en het onderzoek is opgezet, is een 
belangrijke volgende fase de meting en de rapportage. 

Een rapport begint met een heldere doel- en probleemstelling (zie tip 6). 
Voor een goed begrip van de uitkomsten is het bovendien van belang om de 
beperkingen van het onderzoek aan te geven: welke conclusies zijn 
mogelijk op basis van het onderzoek en welke juist niet? (zie kader “Geen 
bewijs voor effect of bewijs voor geen effect?” bij tip 6). 

In de managementsamenvatting staat in heldere, niet-technische taal de 
kernpunten verwoord: 

• Wat is er onderzocht? 

• Waarom is het onderzocht? 

• Hoe is het onderzocht? 

• Wat zijn de resultaten? 

Een heldere beschrijving van de ontwikkelingen is onmisbaar. Daarnaast is 
het - zeker bij een effectstudie - van belang dat er wordt aangegeven wat de 
relatie is tussen de beschreven ontwikkeling(en) en de beleidsdoelen. 

Een rapportage wint aan helderheid als de beschreven ontwikkelingen 
worden ondersteund door grafische weergave zoals grafieken en tabellen. 

Voor de interpretatie van de uitkomsten van een effectstudie is het van 
belang om na te gaan of de ontwikkeling die de indicatoren laten zien ook 
kan zijn veroorzaakt door andere invloeden dan de interventie. 

In het rapport staan ook aanbevelingen voor beleid en/of (vervolg) 
onderzoek. 
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Tip 9= 

Kijk over een langere periode 

Beleid waarmee complexe problemen worden aangepakt, is vaak een 
kwestie van lange adem. Mede daarom is het aan te raden om een lange 
periode in het onderzoek te betrekken. 

Resultaten van beleid kunnen op korte(re) termijn onderhevig zijn aan 
fluctuaties, al dan niet veroorzaakt door de conjunctuur. Resultaten 
gemeten over een langere periode zijn robuuster. 

Breng de situatie bovendien op meerdere meetmomenten in beeld. Bij twee 
meetmomenten (nulmeting en eindmeting) kan het gaan om een toevallige 
uitschieter. Als er meer meetmomenten in beeld zijn gebracht, wordt ook 
duidelijk wat de trend in de tussenliggende jaren is. 

Tussentijds meten maakt het bovendien mogelijk om bij te sturen en in te 
spelen op veranderde omstandigheden. Dit komt de effectiviteit van de 
interventie en het beleid ten goede. 
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Tip no: 

Maak een systematische vergelijking 
met het stedelijkgemiddelde 



Breng niet alleen de ontwikkeling van de wijk of de doelgroep in beeld. 
Maak ook een systematische vergelijking tussen de aandachtswijk (of 
aandachtsgroep) en het stedelijk gemiddelde of (het totaal van) de overige 
wijken (of groepen). Hierdoor wordt 'gecorrigeerd' voor meer algemene 
ontwikkelingen die los staan van het betreffende beleid. Denk bijvoorbeeld 
aan conjuncturele ontwikkelingen. De economische crisis heeft immers zijn 
weerslag op de hele gemeente. Door bijvoorbeeld de aandachtswijken af te 
zetten tegen het stedelijk gemiddelde, blijft de invloed van de crisis op de 
uitkomsten beperkt. 


Dit is een zeer systematisch opgezette monitor, waarin de meting aansluit bij de 
doelstellingen van beleid, waarin een systematische vergelijking wordt gemaakt 
met andere wijken en het stedelijk gemiddelde en waarin de ontwikkelingen in de 
tijd op verantwoorde wijze in kaart worden gebracht. 


Met de vergelijking met het stedelijk gemiddelde wordt ook ‘gecorrigeerd’ 
voor beleid dat in de hele stad geldt. 
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Als rekening wordt gehouden met conjuncturele of andere autonome 
trends en algemeen gemeentelijk beleid, kan blijken dat een negatieve 
ontwikkeling toch een positief effect betekent. Onderstaand figuur uit de 
publicatie Weten wat werkt geeft dat weer. 



Figuur 2 

Verandering bij deelnemers ten opzichte van de autonome trend (uit: ISW ( 2011 ) Weten wat 
werkt - Evaluatie als basis voor succesvolle wijkaanpak) 
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Tipn: 

Breng de ontwikkelingen zowel 
absoluut als relatief in beeld 



Een toename van het aantal voortijdig schoolverlaters is niet altijd 
problematisch. Stel: het aantal voortijdig schoolverlaters stijgt van 100 naar 
150. Het aantal leerlingen stijgt in dezelfde periode van 300 naar 900. Dan is 
er absoluut gezien sprake van een toename van 50 procent maar relatief 
gezien van een afname van 50 procent. 

Zowel de absolute als de relatieve ontwikkeling zijn daarom van belang om 
in beeld te brengen. 


Tabel 2 

Absolute en relatieve ontwikkeling 



t=0 

t=1 

ontwikkeling 

aantal VSV-ers 

100 

150 

+50% 

aantal leerlingen 

300 

900 

+200% 

aandeel VSV-ers 

33% 

17 % 

-50% 


Een andere reden om ontwikkelingen zowel absoluut als relatief in beeld te 
brengen is dat een laag absoluut aantal makkelijker grote relatieve 
wveranderingen laten zien. Een absolute stijging van 10 ten opzichte van 25 
betekent een relatieve stijging van 40 procent. Eenzelfde absolute stijging 
ten opzichte van 100 betekent een relatieve stijging van 10 procent. 


Tabel 3 

Relatieve stijging ten opzichte van absolute aantallen 


t=° 

t=1 

ontwikkeling 1 

25 

35 

+40% 

100 

110 

+10% 
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Tip 12: 

Vraag of de uitkomsten worden herkend 


Bij de interpretatie van de gegevens is het van belang om aan de betrokken 
partijen te vragen of zij zich herkennen in de resultaten. En welke mogelijke 
verklaringen zij zien voor (tegenvallende) cijfers. 

Put daarbij ook uit ervaringen in andere wijken en steden en uit literatuur. 
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Tip 13: 

Brengookeen lagerschaalniveau in beeld 

Beleid wordt veelal geformuleerd voor bepaalde (doel)groepen of voor 
bepaalde gebieden (zoals wijken). Uiteraard komen die groepen of 
gebieden terug in het onderzoek. Het kan ook relevant zijn om een lager 
schaalniveau (zoals buurten of zelfs straten) in beeld te brengen. Mogelijke 
verschillen binnen het gebied komen dan aan het licht. 



Hier worden doelstellingen van beleid SMART geformuleerd en getoetst aan de 
daadwerkelijke ontwikkelingen. Een tweede sterk punt van deze monitor is dat 
deze op theoretische gronden kiest voor een lager geografisch schaalniveau dan de 
wijk, zodat het effect van concrete interventies kan worden getraceerd. 
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